Physics-Informed Neural Networks (PINNs) are gaining popularity as a method for solving differential equations. While being more feasible in some contexts than the classical numerical techniques, PINNs still lack credibility. A remedy for that can be found in Uncertainty Quantification (UQ) which is just beginning to emerge in the context of PINNs. Assessing how well the trained PINN complies with imposed differential equation is the key to tackling uncertainty, yet there is lack of comprehensive methodology for this task. We propose a framework for UQ in Bayesian PINNs (B-PINNs) that incorporates the discrepancy between the B-PINN solution and the unknown true solution. We exploit recent results on error bounds for PINNs on linear dynamical systems and demonstrate the predictive uncertainty on a class of linear ODEs.
translated by 谷歌翻译
The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.
translated by 谷歌翻译
微分方程的解决方案具有重要的科学和工程意义。物理知识的神经网络（PINN）已成为解决微分方程的有前途方法，但它们缺乏使用任何特定损失函数的理论理由。这项工作提出了微分方程gan（DEQGAN），这是一种使用生成对抗网络来求解微分方程的新方法，以“学习损失函数”以优化神经网络。在十二个普通和部分微分方程的套件上呈现结果，包括非线性汉堡，艾伦·卡恩，汉密尔顿和改良的爱因斯坦的重力方程，我们表明deqgan可以比使用$ pinn的均方一数级别的均方一数级别。 L_2 $，$ L_1 $和HUBER损失功能。我们还表明，Deqgan可以实现与流行数值方法竞争的解决方案精确度。最后，我们提出了两种方法，以提高Deqgan对不同的高参数设置的鲁棒性。
translated by 谷歌翻译
储层计算机（RCS）是所有神经网络训练最快的计算机之一，尤其是当它们与其他经常性神经网络进行比较时。 RC具有此优势，同时仍能很好地处理顺序数据。但是，由于该模型对其超参数（HPS）的敏感性，RC的采用率滞后于其他神经网络模型。文献中缺少一个自动调谐这些参数的现代统一软件包。手动调整这些数字非常困难，传统网格搜索方法的成本呈指数增长，随着所考虑的HP数量，劝阻RC的使用并限制了可以设计的RC模型的复杂性。我们通过引入RCTORCH来解决这些问题，Rctorch是一种基于Pytorch的RC神经网络软件包，具有自动HP调整。在本文中，我们通过使用它来预测不同力的驱动摆的复杂动力学来证明rctorch的实用性。这项工作包括编码示例。示例Python Jupyter笔记本可以在我们的GitHub存储库https://github.com/blindedjoy/rctorch上找到，可以在https://rctorch.readthedocs.io/上找到文档。
translated by 谷歌翻译
关于使用物理信息的神经网络求解微分方程的广泛研究。尽管这种方法在许多情况下已被证明是有利的，但主要批评在于它缺乏分析误差范围。因此，它不如传统的同行（例如有限差异方法）可信。本文表明，可以在数学上得出在一类微分方程线性系统上训练的物理信息的神经网络的明确误差界限。更重要的是，评估此类误差界限仅需要评估感兴趣域上的微分方程残留无限规范。我们的工作显示了网络残差之间的联系，该网络残差被称为损耗函数，以及解决方案的绝对误差，这通常是未知的。我们的方法是半生态学的，并且独立于对网络的实际解决方案或复杂性或架构的了解。使用在线性ODE和线性ODES系统上制成的解决方案的方法，我们从经验上验证了错误评估算法，并证明实际误差严格存在于我们派生的界限内。
translated by 谷歌翻译
用于探索美国国家航空航天局的搜索工具（广告）可以相当丰富和赋予（例如，类似和趋势的运营商），但研究人员尚未允许完全杠杆语义搜索。例如，对“普朗克任务的结果”查询应该能够区分普朗克（人，任务，常量，机构和更多）的所有各种含义，而无需从用户进一步澄清。在广告中，我们正在将现代机器学习和自然语言处理技术应用于我们最近的天文出版物的数据集，以培训Astrobert，这是一种基于Google研究的深刻语境语言模型。使用AstrBert，我们的目标是丰富广告数据集并提高其可发现性，特别是我们正在开发自己的命名实体识别工具。我们在这里展示我们初步的结果和经验教训。
translated by 谷歌翻译
基于神经网络的求解方程的方法已经获得了牵引力。他们通过改善每次迭代点的点样本上的神经网络的微分方程残差来工作。然而，其中大多数采用标准采样方案，如统一或扰动同等间隔的点。我们提出了一种新的抽样方案，其采样对逆势地进行对接的，以最大化当前溶液估计的损失。采样器架构与用于训练的丢失术语一起描述。最后，我们证明了该方案通过在许多问题上进行比较来实现预先存在的方案。
translated by 谷歌翻译
不确定性量化（UQ）有助于基于收集的观察和不确定域知识来制定值得信赖的预测。随着各种应用中深度学习的增加，需要使深层模型更加可靠的高效UQ方法的需求。在可以从有效处理不确定性中受益的应用中，是基于深度学习的微分方程（DE）求解器。我们适应了几种最先进的UQ方法，以获得DE解决方案的预测性不确定性，并显示出四种不同类型的结果。
translated by 谷歌翻译
从经典动力学系统到量子力学的许多领域，在许多领域的进步核心，有效，准确地求解微分方程。人们对使用物理知识的神经网络（PINN）来解决此类问题，这引起了人们的兴趣，因为它们比传统的数值方法提供了许多好处。尽管它们在求解微分方程方面的潜在好处，但仍在探索转移学习。在这项研究中，我们提出了转移学习PINN的一般框架，该框架对普通和部分微分方程的线性系统进行了单次推断。这意味着，可以在不重新培训整个网络的情况下即时获得许多未知微分方程的方法。我们通过解决了几个现实世界中的问题，例如一阶线性普通方程，泊松方程以及时间依赖时间依赖的schrodinger复合物配合物部分差分方程来证明拟议的深度学习方法的功效。
translated by 谷歌翻译
对应用机器学习来研究动态系统有一波兴趣。特别地，已经应用神经网络来解决运动方程，因此追踪系统的演变。与神经网络和机器学习的其他应用相反，动态系统 - 根据其潜在的对称 - 具有诸如能量，动量和角动量的不变性。传统的数值迭代方法通常违反这些保护法，在时间上传播误差，并降低方法的可预测性。我们介绍了一个汉密尔顿神经网络，用于解决控制动态系统的微分方程。这种无监督的模型是学习解决方案，可以相同地满足哈密尔顿方程，因此哈密尔顿方程式满足。一旦优化了，所提出的架构被认为是一种杂项单元，因为引入了高效的参数的解决方案。另外，通过共享网络参数并选择适当的激活函数的选择大大提高了网络的可预测性。派生错误分析，并指出数值误差取决于整体网络性能。然后采用辛结构来解决非线性振荡器的方程和混沌HENON-HENEL动态系统。在两个系统中，杂项欧拉集成商需要两个订单比HAMILTONIAN网络更多的评估点，以便在预测的相空间轨迹中获得相同的数值误差顺序。
translated by 谷歌翻译